[레포트] AWS, Confluent와 함께 데이터 플랫폼 마이그레이션, 현대화

세션

Agenda

• AWS, Confluent와 함께 데이터 플랫폼 마이그레이션, 현대화
• Confluent가 어떻게 AWS 기반 데이터 플랫폼의 마이그레이션, 현대화를 지원할까요?

AWS, Confluent와 함께 데이터 플랫폼 마이그레이션, 현대화

• 우리는 매일 데이터가 어떻게 우리 일상을 바꾸고 있는지 많은 분야에서 접해볼 수 있음
• 모바일 애플리케이션에서의 인터랙션이나 복잡한 Space X 발사에서 실시간 매트릭스를 볼 수 있고 유지보수를 맡고있는 작업자가 태블릿을 갖고 일을 하고 의사가 디지털화된 의료정보를 갖고 일하는것을 봤을 것
• 우리는 이렇게 데이터 홍수 속의 데이터를 접하고 살고 있음

• 데이터는 풍부한 프론트엔드 고객 경험을 구축하는데 도움이 됨
• 현재 비즈니스가 Netflix와 같은 OTT 서비스가 당장 연관이 없다 하더라도 고객은 어느 방면에 있어도 이런 Netflix와 같은 유사한 경험을 기대 하고 있음

• 데이터는 풍부한 프론트엔드 고객 경험을 구축하는데 도움이 됨
• 현재 비즈니스가 Netflix와 같은 OTT 서비스가 당장 연관이 없다 하더라도 여러분의 고객은 어느 방면에 있어도 이런 Netflix와 같은 유사한 경험을 기대 하고 있음
• 데이터는 기업들이 백엔드 운영을 실시간으로 바꾸는데 영향을 미침
• Amazon과 같은 대규모 이커머스 회사가 대규모 창고에서 데이터를 활용하여 효율성과 속도를 향상시킨 것이 좋은 예
• Confluent는 전 세계 어느 곳에서나 이러한 유형의 결과를 가능하게 하는 기술과 풍부한 경험을 갖고 기업들에게 제공을 하고 있음

• Kafka는 Confluent의 창업자가 지난 2010년 Linkedin 재직 당시에 개발된 기술
• 이후 아파치 소프트웨어 재단을 통해 오픈 소스로 공급되었음
• 수만 개의 조직에서 수십만 명의 개발자를 통해 대규모로 오픈 소스가 채택됨
• 디지털 기업으로 태어난 모든 조직은 이벤트 스트리밍을 기반으로 하며, 현재 표준치 선정 100대 기업 중 80%가 오픈 소스 Apache Kafka를 통해 이벤트 스트리밍을 활용하고 있음
• 디지털 혁신의 모든 측면에서 이벤트 스트리밍이 적용되고 증가하고 있음
• 2010년 이 문제를 해결하려던 노력이 결국 Apache Kafka와 이벤트 스트리밍을 탄생 시킴
• Apache Kafka는 확장 가능한 고가용성 데이터 스트리밍 플랫폼
• 처음에는 기업의 작은 프로젝트로 적용될 수 있지만, 궁극적으로는 기업의 중추 신경계까지 확장이 된느 경우가 많음
• 또한 Kafka를 사용하면 기존 시스템에서 더 많은 가치를 얻을 수 있으며 실시간으로 만들 수 있음

• 이벤트 스트림과 스트리밍 분석 및 처리를 중심으로 하는 Data in Motion 이라는 새로운 패러타임
• 여기서 데이터는 제자리에만 머물지 않고, 지속적으로 진화하고 실시간으로 처리 분석됨
• 오늘날에는 데이터가 정적이지 않고, 지속적으로 움직이고 있음

• Data in Motion 구현을 위해 온프레미스 및 멀티클라우드 데이터를 클라우드 네이티브한 Confluent Cloud on AWS에 연결하여 실시간 분석을 적용해보고 애플리케이션에 연결해서 구현할 수 있음
• 오픈소스 기반의 Kafka인 Confluent Cloud on AWS는 75%의 응용 프로그램 개발 시간을 가속화하고 60% 관리 비용을 절감하기 위해 클라우드 SaaS 서비스의 Apache Kafka 를 재설계함

• Confluent는 AWS 마켓플레이스 및 서비스와 완벽하게 통합되어 관리, 운영 및 과금을 제공
• 동시에 S3, Redshift, DynamoDB, Lambda 등을 포함한 서비스에 실시간으로 데이터를 마이그레이션, 연결하는데 도움을 주고 있으며, 120개 이상의 사전 제작된 커넥터를 제공
• 이를 통해 기업은 데이터 플랫폼을 마이그레이션을 하고 현대화하며 실시간 분석을 공급하여 고객 경험을 개선함

Confluent가 어떻게 AWS 기반 데이터 플랫폼의 마이그레이션, 현대화를 지원할까요?

• 우선 레거시 데이터 플랫폼의 현대화가 필요한 이유에 대해 설명
• 2025년까지 175개의 제타바이트의 데이터가 생성되고 이는 대부분 클라우드 기반에서 발생될 것
• 클라우드 기반 데이터 플랫폼은 일반적으로 TCO가 50% 감소함
• 마지막으로 클라우드 데이터 웨어하우스는 투자 수익률이 600% 높아지고 있음

• 데이터 플랫폼을 마이그레이션에서 겪는 어려움에 대해
• 첫째는 비용
• 페더레이션 쿼리를 사용하여 모든 것을 액세스할 수 있도록 하고 컴퓨팅 파워 및 운영 오버헤드를 가져가면서 여러 시스템에 대한 액세스를 제공하는데 비용이 많이 듬
• 둘째, 레거시 시스템을 사용하면 일반적으로 여러 단계의 배치 작업으로 인해 데이터를 분석할 수 있는데 시간이 걸리므로 일부 시스템은 제한된 실시간 기능을 제공하지만 확장이 잘 되지 않는 경우가 많음
• 마지막으로 수십 년 전에 설정된 시스템 중에는 하이브리드 또는 멀티 클라우드 아키텍처를 지원하지 않는 것이 존재
• 전체 마이그레이션은 몇 년이 걸릴 수 있음

• AWS와 Confluent와 함께라면 가능
• 하이브리드/멀티클라우드 파이프라인을 구축하고 ETL 작업을 스트리밍 처리로 변환하여 현대화 TCO를 낮출 수 있음
• 일괄 처리에서 벗어나면 모든 규모의 분석을 거의 실시간으로 얻을 수 있음
• 그런 다음 데이터를 fully managed로 관리되는 Confluent Cloud로 복제하여 데이터를 다른 AWS 서비스와 신속하게 통합할 수 있음

• 레거시 데이터 원본과 AWS에서 선택한 클라우드 서비스 사이에 Confluent를 추가하여 TCO를 관리할 뿐만 아니라 웨어하우스에 데이터를 적재하기 전에 데이터 원본을 병합하고 데이터를 보강할 수 있음

• Confluent는 Kafka의 좀 더 유연적인 데이터 연계를 가능하게 할 수 있도록 다양한 시스템과의 연계를 위한 소스 및 싱크 Kafka 커넥터를 출시하고 확장하고 있음
• 오픈 소스 Apache Kafka를 다루는 개발자에게는 두 가지 옵션이 있음
• Kafka Connect 프레임워크를 사용하여 자체 커넥터를 개발하거나 커뮤니티에서 이미 구축한 앞서 언급한 커뮤니티에서 이미 개발된 커넥터를 활용하는 방법
• 첫 번째 옵션의 많은 시간과 노력을 필요로 함
• 2019년 Confluent는 커넥터 포트폴리오를 10개에서 100개 이상의 커넥터로 늘림
• 이러한 경험을 바탕으로 커넥터 1개를 개발하는 시간이 평균 6주 걸린다는 사실을 알게됨
• 이는 Kafka 전문가가 걸린 시간이기도 함
• 두 번째 옵션의 어려움은 오픈 소스 커넥터가 지원되지 않는다는 것
• 지원되지 않는 커넥터의 Kafka와 이벤트 스트리밍을 운영에 배포하는 회사는 상당한 리스크를 갖고 가야 함
• 이것이 Confluent가 130개 이상의 커넥트 포트폴리오를 제공하는 이유
• 100개의 커넥터는 Confluent에 의해 개발되고 지원되며, 30개의 커넥터는 Confluent의 완전한 검증을 통해 파트너에 의해 개발되고 지원 됨
• 온프레미스 Confluent Platform을 사용하거나 풀리 매니지드 Confluent Cloud에서든 어디서나 커넥터를 사용할 수 있음

• 100개의 커넥터는 Confluent에 의해 개발되고 지원되며, 30개의 커넥터는 Confluent의 완전한 검증을 통해 파트너에 의해 개발되고 지원 됨
• 온프레미스 Confluent Platform을 사용하거나 풀리 매니지드 Confluent Cloud에서든 어디서나 커넥터를 사용할 수 있음
• 고객들은 AWS에서 fully managed 제품과 자체 데이터 센터에서 운영되는 제품 사이에서 선택이 가능함
• AWS Edge services 혹은 VPC 그리고 물론 둘다 사용 가능
• 또한 Full managed와 self managed를 연결할 수 있음
• 이는 점점 우리의 대형 고객에게 중요한 마이그레이션 전략이 되고 있음
• 그 이유는 신규 애플리케이션이 온프레미스 레거시 시스템과 데이터를 연결해서 데이터의 input, output이 가능하게 해서 한번의 대형 마이그레이션 계획을 세우지 않아도 되서임
• 설치형 Confluent Platform이나 Confluent Cloud 모두 Subscription 즉 구독형으로 제공하고 있어서 사용한 것만큼만 과금이 됨

• 쿠버네티스를 위한 컨플루언트와 AWS Edge 서비스는 컨플루언트를 어디서나 사용 가능하게 함
• Confluent Cluster Linking은 Data in motion에 도움을 줄 수 있음
• 에지, 지역, 본사 등 모든 사이트를 연결하여 글로벌 데이터 메시를 형성하는 데 도움이 될 것
• 데이터는 온프레미스와 온프레미스, 클라우드와 클라우드 사이 온프레미스 및 클라우드, 에지 및 클라우드, 필요한 환경 간에 복제를 가능하게 함
• 이 모든 것은 Kafka의 내부 복제 메커니즘을 활용하고 소스 및 복제된 토픽간의 오프셋을 보존 해줌
• 멀티리전 클러스터 또는 DR 시나리오에서는 오프셋 보존이 유용함

• 이제 우리는 Confluent를 여러 곳에 디플로이 하고 모든 시스템과 연결 됨
• 이제 실제로 데이터를 시스템에서 어떻게 보내고 내보내는지에 대해서 궁금해 할 것임
• 먼저 지원되는 다양한 클라이언트에 대해서 이야기
• 대부분의 요구하는 use case를 커버할 것으로 보임
• 원격에서 Fortran을 사용하고 있는 곳에서는 적용이 어렵다고 생각하겠지만, REST, MQTT Proxy와 Kafka Connect를 활용하면 많은 클라이언트 개발 언어와 시스템 연계가 해결됨

• ksqlDB는 Kafka에 들어온 데이터의 처리를 가능하게 함
• 이는 여러 데이터를 합치거나 연산, 특정 윈도우 시간에 발생하는 데이터의 처리도 가능하게 함
• ksqlDB는 브로커와 독립적으로 실행이 되고 확장이 가능하고 고가용성을 고려하여 구성이 가능함

• 이제 Confluent 사례에 대해서 살펴봄
• Instacart 고객은 급증하는 식료품 주문을 유연하게 처리해야 하는 과제를 갖고 있음
• Confluent Cloud on AWS를 도입하여 이벤트 스트리밍 프랫폼을 구축하여 실시간 재고관리가 가능해졌고, 부정행위 감지 성능도 향상하고, 이전보다 더 빠른 처리 능력을 갖게 되었음

• 다음은 AO.com 사례
• AO는 지난 20년 동안 주로 온라인으로 운영되어 옴
• 영국과 독일 전역의 수백만 고객에게 9,000개 이상의 전기 제품을 판매하는 영국 최고의 전기 제품 소매업체 중 하나임
• AO.com은 대면보다 온라인이 급증함에 따라 신속한 고객 대응이 필요했음
• Confluent Cloud on AWS 적용 후에 고도의 개인 맞춤 서비스를 실시간 제공해 고객 경험 향상, 고객 전환율이 30% 증가, 혁신 속도 가속화가 이뤄졌고, 무엇보다 개발자가 운영보다 중요도 높은 업무에 집중할 수 있게 됨

• 다음은 국내 사례
• 이베이 코리아는 애플리케이션이 다년간 개발 운영이 되다 보니 굉장히 복잡한 구조로 운영이 되고 있음
• 조금의 코드 변경이 예측하기 어려운 장애를 가져옴
• MSA로의 전환을 의사 결정한 이후에 MSA 아키텍처에 Kafka를 적용했고, Confluent로 개발, 테스트를 거쳐서 오픈을 하게 되었음
• 오픈 이후 장애는 현저히 줄어들었고, 안정된 운영 및 생산성이 높아짐

• 한국투자증권은 고객데이터를 실시간으로 분석을 하고자 하는 과제가 있었음
• 이를 위해서 Kafka Confluent를 도입 했음
• 현재 프로젝트 중이고, 올해 고객데이터 분석을 위한 실시간으로 고객데이터 수집에 Confluent Kafka를 적용할 예정

참고

본 블로그에서 사용한 이미지는 AWS Summit Korea에서 제공된 발표자료와 영상을 사용했습니다.